Predicting metro passenger flow precisely is of great importance for dynamic traffic planning. Deep learning algorithms have been widely applied due to their robust performance in modelling non-linear systems. However, traditional deep learning algorithms completely discard the inherent graph structure within the metro system. Graph-based deep learning algorithms could utilise the graph structure but raise a few challenges, such as how to determine the weights of the edges and the shallow receptive field caused by the over-smoothing issue. To further improve these challenges, this study proposes a model based on GraphSAGE with an edge weights learner applied. The edge weights learner utilises socially meaningful features to generate edge weights. Hypergraph and temporal exploitation modules are also constructed as add-ons for better performance. A comparison study is conducted on the proposed algorithm and other state-of-art graph neural networks, where the proposed algorithm could improve the performance.
translated by 谷歌翻译
多元时间序列的异常检测对于系统行为监测有意义。本文提出了一种基于无监督的短期和长期面具表示学习(SLMR)的异常检测方法。主要思想是分别使用多尺度的残余卷积和门控复发单元(GRU)提取多元时间序列的短期局部依赖模式和长期全球趋势模式。此外,我们的方法可以通过结合时空掩盖的自我监督表示和序列分裂来理解时间上下文和特征相关性。它认为功能的重要性是不同的,我们介绍了注意机制以调整每个功能的贡献。最后,将基于预测的模型和基于重建的模型集成在一起,以关注单时间戳预测和时间序列的潜在表示。实验表明,我们方法的性能优于三个现实世界数据集上的其他最先进的模型。进一步的分析表明,我们的方法擅长可解释性。
translated by 谷歌翻译
后门攻击已被证明是对深度学习模型的严重安全威胁,并且检测给定模型是否已成为后门成为至关重要的任务。现有的防御措施主要建立在观察到后门触发器通常尺寸很小或仅影响几个神经元激活的观察结果。但是,在许多情况下,尤其是对于高级后门攻击,违反了上述观察结果,阻碍了现有防御的性能和适用性。在本文中,我们提出了基于新观察的后门防御范围。也就是说,有效的后门攻击通常需要对中毒训练样本的高预测置信度,以确保训练有素的模型具有很高的可能性。基于此观察结果,Dtinspector首先学习一个可以改变最高信心数据的预测的补丁,然后通过检查在低信心数据上应用学习补丁后检查预测变化的比率来决定后门的存在。对五次后门攻击,四个数据集和三种高级攻击类型的广泛评估证明了拟议防御的有效性。
translated by 谷歌翻译
当仅积极(P)和未标记(U)数据可用时,正面标记(PU)学习涉及二进制分类问题。已经提出了许多基于线性模型和神经网络的PU方法。但是,仍然缺乏关于理论上增强风格算法如何使用P和U数据的研究。考虑到在某些情况下,当神经网络即使使用完全监督的数据也不能像增强算法一样好时,我们提出了一种新颖的增强PU学习算法:ADA-PU,ADA-PU与神经网络进行了比较。 ADA-PU遵循ADABOOST的一般过程,同时维护和更新了P数据的两个不同分布。在新更新的分布上学习了弱分类器后,仅使用PU数据估算最终集合的相应组合权重。我们证明,使用较小的基础分类器集,确保该方法可以保留增强算法的理论属性。在实验中,我们表明ADA-PU在基准PU数据集上优于神经网络。我们还研究了网络安全性的现实世界数据集UNSW-NB15,并证明ADA-PU在恶意活动检测方面具有出色的性能。
translated by 谷歌翻译
由于对个人医疗保健和大流行而越来越关注,E-Health的普及是增殖的。如今,通过机器学习模型对医学诊断的增强在电子健康分析的许多方面都非常有效。然而,在经典的基于云/集中的电子健康范式范式中,所有数据都将集中存储在服务器上,以促进模型培训,这不可避免地引发隐私问题和高延迟。提出了分布式解决方案,如分散的随机梯度下降(D-SGD),以基于个人设备提供安全和及时的诊断结果。然而,D-SGD等方法受梯度消失问题,通常在早期训练阶段缓慢进行,从而阻碍培训的有效性和效率。此外,现有方法容易发生偏向具有密集数据的用户的学习模型,在为少数群体提供电子健康分析时损害公平性。在本文中,我们提出了一个分散的块坐标血统(D-BCD)学习框架,可以更好地优化分布在用于电子健康分析的分散设备上的深度神经网络的模型。三个真实数据集的基准测试实验说明了我们提出的D-BCD的有效性和实用性,其中额外的仿真研究展示了D-BCD在现实生活中的强有力的适用性。
translated by 谷歌翻译
本文提出了一种新的图形卷积运算符,称为中央差异图卷积(CDGC),用于基于骨架的动作识别。它不仅能够聚合节点信息,如vanilla图卷积操作,而且还可以介绍梯度信息。在不引入任何其他参数的情况下,CDGC可以在任何现有的图形卷积网络(GCN)中取代VANILLA图表卷积。此外,开发了一种加速版的CDGC,这大大提高了培训速度。两个流行的大型数据集NTU RGB + D 60和120的实验表明了所提出的CDGC的功效。代码可在https://github.com/iesymiao/cd-gcn获得。
translated by 谷歌翻译
在线广告中,自动竞标已成为广告商通过简单地表达高级活动目标和约束来优化其首选广告性能指标的重要工具。以前的作品从单个代理的视图中设计了自动竞争工具,而不会在代理之间建模相互影响。在本文中,我们从分布式多功能代理人的角度来看,请考虑这个问题,并提出一个常规$ \强调{m} $ ulti - $ \强调{a} $ gent加强学习框架,以便为$ clown {a} $ uto - $ \ Underline {b} $ IDDIND,即MAAB,了解自动竞标策略。首先,我们调查自动招标代理商之间的竞争与合作关系,并提出了一个温度定期的信用分配,以建立混合合作竞争范式。通过在代理商中仔细开展竞争和合作权衡,我们可以达到均衡状态,不仅担保个人广告商的实用程序,而且保证了系统性能(即社会福利)。其次,为避免竞争低价潜在勾结行为的合作,我们进一步提交了律师代理,为每位专家设定个性化招标酒吧,然后减轻由于合作而导致的收入退化。第三,要在大型广告系统中部署MAAB,我们提出了一种平均现场方法。通过将具有与平均自动竞标代理商相同的广告商进行分组,大规模广告商之间的互动大大简化,使得培训MAAB有效地培训。在离线工业数据集和阿里巴巴广告平台上进行了广泛的实验表明,我们的方法在社会福利和收入方面优于几种基线方法。
translated by 谷歌翻译
为了减轻二进制分类中培训有效二进制分类器的数据要求,已经提出了许多弱监督的学习设置。其中,当由于隐私,机密性或安全原因无法访问时,使用成对但不是尖标签的一些考虑。然而,作为一对标签表示两个数据点是否共享尖点标签,如果任一点同样可能是正的或负数,则不能容易地收集。因此,在本文中,我们提出了一种名为成对比较(PCOMP)分类的新颖设置,在那里我们只有一对未标记的数据,我们知道一个人比另一个更有可能是积极的。首先,我们提供了PCOMP数据生成过程,通过理论上保证导出了无偏的风险估计器(URE),并进一步提高了URE使用校正功能。其次,我们将PCOMP分类链接到嘈杂的标签学习,通过强加一致性正规化来开发渐进式,并改善它。最后,我们通过实验证明了我们的方法的有效性,这表明PCOMP是一种有价值的,实际上有用的成对监督类型,除了一对标签。
translated by 谷歌翻译
Deep learning with noisy labels is practically challenging, as the capacity of deep models is so high that they can totally memorize these noisy labels sooner or later during training. Nonetheless, recent studies on the memorization effects of deep neural networks show that they would first memorize training data of clean labels and then those of noisy labels. Therefore in this paper, we propose a new deep learning paradigm called "Co-teaching" for combating with noisy labels. Namely, we train two deep neural networks simultaneously, and let them teach each other given every mini-batch: firstly, each network feeds forward all data and selects some data of possibly clean labels; secondly, two networks communicate with each other what data in this mini-batch should be used for training; finally, each network back propagates the data selected by its peer network and updates itself. Empirical results on noisy versions of MNIST, CIFAR-10 and CIFAR-100 demonstrate that Co-teaching is much superior to the state-of-the-art methods in the robustness of trained deep models. * The first two authors (Bo Han and Quanming Yao) made equal contributions. The implementation is available at https://github.com/bhanML/Co-teaching.32nd Conference on Neural Information Processing Systems (NIPS 2018),
translated by 谷歌翻译
Consensus clustering aggregates partitions in order to find a better fit by reconciling clustering results from different sources/executions. In practice, there exist noise and outliers in clustering task, which, however, may significantly degrade the performance. To address this issue, we propose a novel algorithm -- robust consensus clustering that can find common ground truth among experts' opinions, which tends to be minimally affected by the bias caused by the outliers. In particular, we formalize the robust consensus clustering problem as a constraint optimization problem, and then derive an effective algorithm upon alternating direction method of multipliers (ADMM) with rigorous convergence guarantee. Our method outperforms the baselines on benchmarks. We apply the proposed method to the real-world advertising campaign segmentation and forecasting tasks using the proposed consensus clustering results based on the similarity computed via Kolmogorov-Smirnov Statistics. The accurate clustering result is helpful for building the advertiser profiles so as to perform the forecasting.
translated by 谷歌翻译